این موزه در سال ۱۳۴۰ به صورت ناتمام به منظور گالری فرش ساخته شد و به مدت ۱۵ سال به صورت متروکه باقی ماند و سپس در اوایل سال ۱۳۵۵، کار تعمیرات و تغییرات کلی آن آغاز و در نهایت روز ۲۲ بهمنماه سال ۱۳۵۶ رسماً افتتاح گردید.
ساختمان موزه ۳٬۴۰۰ متر مربع مساحت دارد و آذینهای نمای بیرونی آن شبیه دار قالی است. طراح بنای این موزه، عبدالعزیز فرمانفرمائیان است.
ساختمان دارای دو تالار است و برای نمایش انواع قالیهای دست بافت و گلیم مورد استفاده قرار میگیرد.
طبقهٔ همکف این موزه برای نمایش دائمی ۱۵۰ قطعه فرش و طبقهٔ دوم آن برای برگزاری نمایشگاههای موردی و فصلی در نظر گرفته شدهاست.